Python Data Science: Statistik Gipotezalarni Tekshirish Bo'yicha To'liq Qo'llanma

Statistik gipotezalarni tekshirish ma'lumotlarga asoslanib asosli qarorlar qabul qilish imkonini beruvchi ma'lumotlar fanining muhim jihatidir. U dalillarni baholash va populyatsiya haqidagi da'vo haqiqatga yaqinligini aniqlash uchun asos yaratadi. Ushbu to'liq qo'llanma Python yordamida statistik gipotezalarni tekshirishning asosiy tushunchalari, usullari va amaliy qo'llashlarini o'rganadi.

Statistik Gipotezalarni Tekshirish Nima?

Gipotezalarni tekshirish, asosan, populyatsiya haqidagi da'voni baholash uchun tanlanma ma'lumotlaridan foydalanish jarayonidir. U ikkita raqobatdosh gipotezani shakllantirishni o'z ichiga oladi: nol gipoteza (H0) va alternativ gipoteza (H1).

• Nol Gipoteza (H0): Bu tekshirilayotgan bayonotdir. U odatda status-kvoni yoki ta'sir yo'qligini ifodalaydi. Masalan, "Erkaklar va ayollarning o'rtacha bo'yi bir xil."
• Alternativ Gipoteza (H1): Bu biz dalil topishga harakat qilayotgan bayonotdir. U nol gipotezaga zid keladi. Masalan, "Erkaklar va ayollarning o'rtacha bo'yi har xil."

Gipotezalarni tekshirishdan maqsad, alternativ gipoteza foydasiga nol gipotezani rad etish uchun yetarli dalil bormi-yo'qligini aniqlashdir.

Gipotezalarni Tekshirishdagi Asosiy Tushunchalar

Gipoteza testlarini bajarish va talqin qilish uchun quyidagi tushunchalarni tushunish muhimdir:

P-qiymat

P-qiymat – nol gipoteza haqiqat bo'lsa, tanlanma ma'lumotlaridan hisoblangan test statistikasi kabi ekstremal yoki undan ham ekstremal statistikani kuzatish ehtimoli. Kichik p-qiymat (odatda ahamiyatlilik darajasidan, alfadan kam) nol gipotezaga qarshi kuchli dalilni ko'rsatadi.

Ahamiyatlilik Darajasi (Alfa)

Ahamiyatlilik darajasi (α) – nol gipotezani rad etish uchun zarur bo'lgan dalillar miqdorini belgilaydigan oldindan aniqlangan chegaradir. Alfa uchun eng ko'p ishlatiladigan qiymatlar 0.05 (5%) va 0.01 (1%) hisoblanadi. Agar p-qiymat alfadan kam bo'lsa, biz nol gipotezani rad etamiz.

I va II turdagi Xatolar

Gipotezalarni tekshirishda biz ikki turdagi xatoga yo'l qo'yishimiz mumkin:

• I turdagi Xato (Yolg'on Musbat): Nol gipoteza aslida to'g'ri bo'lganida uni rad etish. I turdagi xato qilish ehtimoli alfaga (α) teng.
• II turdagi Xato (Yolg'on Manfiy): Nol gipoteza aslida noto'g'ri bo'lganida uni rad etmaslik. II turdagi xato qilish ehtimoli beta (β) bilan belgilanadi.

Testning Quvvati

Testning quvvati – nol gipoteza noto'g'ri bo'lganida uni to'g'ri rad etish ehtimoli (1 - β). Yuqori quvvatli test haqiqiy ta'sirni aniqlash ehtimoli ko'proq.

Test Statistikasi

Test statistikasi – nol gipotezani rad etish yoki rad etmaslikni aniqlash uchun tanlanma ma'lumotlaridan hisoblangan bitta sondir. Misollar: t-statistikasi, z-statistikasi, F-statistikasi va chi-kvadrat statistikasi. Test statistikasi tanlovi ma'lumotlar turiga va tekshirilayotgan gipotezaga bog'liq.

Ishonch Oraliqlari

Ishonch oralig'i, haqiqiy populyatsiya parametri ma'lum bir ishonch darajasi (masalan, 95% ishonch) bilan tushishi mumkin bo'lgan qiymatlar diapazonini ta'minlaydi. Ishonch oralig'i gipoteza testlari bilan bog'liq; agar nol gipoteza qiymati ishonch oralig'idan tashqariga chiqsa, biz nol gipotezani rad etamiz.

Pythonda Tez-tez Uchraydigan Gipoteza Testlari

Python'ning scipy.stats moduli statistik gipoteza testlarini bajarish uchun keng doiradagi funksiyalarni taqdim etadi. Mana eng ko'p ishlatiladigan testlardan ba'zilari:

1. T-testlar

T-testlar bir yoki ikki guruhning o'rtacha qiymatlarini solishtirish uchun ishlatiladi. T-testlarning uchta asosiy turi mavjud:

• Bir Namuna T-testi: Bir namuna o'rtacha qiymatini ma'lum populyatsiya o'rtacha qiymati bilan solishtirish uchun ishlatiladi.
• Mustaqil Namunalar T-testi (Ikki Namuna T-testi): Ikki mustaqil guruhning o'rtacha qiymatlarini solishtirish uchun ishlatiladi. Bu test ikki guruhning dispersiyalari teng ekanligini taxmin qiladi (yoki teng bo'lmasa, sozlanishi mumkin).
• Bog'langan Namunalar T-testi: Ikki bog'liq guruhning o'rtacha qiymatlarini solishtirish uchun ishlatiladi (masalan, bir xil subyektlarning mashg'ulotdan oldin va keyingi o'lchovlari).

Misol (Bir Namuna T-testi):

Faraz qilaylik, biz ma'lum bir maktabdagi (Yaponiya) o'quvchilarning o'rtacha imtihon ballari milliy o'rtacha ko'rsatkichdan (75) sezilarli darajada farq qilishini tekshirmoqchimiz. Biz 30 nafar o'quvchidan imtihon ballari namunasini yig'amiz.

            import numpy as np
from scipy import stats

# Sample data (exam scores)
scores = np.array([82, 78, 85, 90, 72, 76, 88, 80, 79, 83, 86, 74, 77, 81, 84, 89, 73, 75, 87, 91, 71, 70, 92, 68, 93, 95, 67, 69, 94, 96])

# Population mean
population_mean = 75

# Perform one-sample t-test
t_statistic, p_value = stats.ttest_1samp(scores, population_mean)

print("T-statistic:", t_statistic)
print("P-value:", p_value)

# Check if p-value is less than alpha (e.g., 0.05)
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis")
else:
    print("Fail to reject the null hypothesis")

            

              
                Copy
              
            
          

Misol (Mustaqil Namunalar T-testi):

Aytaylik, biz ikki xil mamlakatdagi (Kanada va Avstraliya) dasturiy ta'minot muhandislarining o'rtacha daromadini solishtirmoqchimiz. Biz har bir mamlakatdagi dasturiy ta'minot muhandislari namunalaridan daromad ma'lumotlarini yig'amiz.

            import numpy as np
from scipy import stats

# Income data for software engineers in Canada (in thousands of dollars)
canada_income = np.array([80, 85, 90, 95, 100, 105, 110, 115, 120, 125])

# Income data for software engineers in Australia (in thousands of dollars)
australia_income = np.array([75, 80, 85, 90, 95, 100, 105, 110, 115, 120])

# Perform independent samples t-test
t_statistic, p_value = stats.ttest_ind(canada_income, australia_income)

print("T-statistic:", t_statistic)
print("P-value:", p_value)

# Check if p-value is less than alpha (e.g., 0.05)
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis")
else:
    print("Fail to reject the null hypothesis")

            

              
                Copy
              
            
          

Misol (Bog'langan Namunalar T-testi):

Faraz qilaylik, Germaniyadagi kompaniya yangi o'quv dasturini joriy qiladi va u xodimlarning ish faoliyatini yaxshilaydimi yoki yo'qmi bilishni istaydi. Ular xodimlar guruhining o'quv dasturidan oldingi va keyingi ish faoliyatini o'lchaydilar.

            import numpy as np
from scipy import stats

# Performance data before training
before_training = np.array([60, 65, 70, 75, 80, 85, 90, 95, 100, 105])

# Performance data after training
after_training = np.array([70, 75, 80, 85, 90, 95, 100, 105, 110, 115])

# Perform paired samples t-test
t_statistic, p_value = stats.ttest_rel(after_training, before_training)

print("T-statistic:", t_statistic)
print("P-value:", p_value)

# Check if p-value is less than alpha (e.g., 0.05)
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis")
else:
    print("Fail to reject the null hypothesis")

            

              
                Copy
              
            
          

2. Z-testlar

Z-testlar populyatsiya standart og'ishi ma'lum bo'lganida yoki namuna hajmi yetarlicha katta bo'lganida (odatda n > 30) bir yoki ikki guruhning o'rtacha qiymatlarini solishtirish uchun ishlatiladi. T-testlarga o'xshab, bir namuna va ikki namuna z-testlari mavjud.

Misol (Bir Namuna Z-testi):

Vyetnamdagi lampochka ishlab chiqaruvchi zavod o'z lampochkalarining o'rtacha xizmat muddati 1000 soatni tashkil etishini, standart og'ishi esa 50 soat ekanligini da'vo qiladi. Iste'molchilar guruhi 40 ta lampochka namunasini sinovdan o'tkazadi.

            import numpy as np
from scipy import stats
from statsmodels.stats.weightstats import ztest

# Sample data (lifespan of light bulbs)
lifespan = np.array([980, 1020, 990, 1010, 970, 1030, 1000, 960, 1040, 950, 1050, 940, 1060, 930, 1070, 920, 1080, 910, 1090, 900, 1100, 995, 1005, 985, 1015, 975, 1025, 1005, 955, 1045, 945, 1055, 935, 1065, 925, 1075, 915, 1085, 895, 1095])

# Population mean and standard deviation
population_mean = 1000
population_std = 50

# Perform one-sample z-test
z_statistic, p_value = ztest(lifespan, value=population_mean)

print("Z-statistic:", z_statistic)
print("P-value:", p_value)

# Check if p-value is less than alpha (e.g., 0.05)
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis")
else:
    print("Fail to reject the null hypothesis")

            

              
                Copy
              
            
          

3. ANOVA (Dispersion Tahlili)

ANOVA uch yoki undan ortiq guruhlarning o'rtacha qiymatlarini solishtirish uchun ishlatiladi. U guruh o'rtacha qiymatlari o'rtasida sezilarli farq bormi yoki yo'qmi tekshiradi. ANOVAning bir tomonlama ANOVA va ikki tomonlama ANOVA kabi turli xillari mavjud.

Misol (Bir Tomonlama ANOVA):

Braziliyadagi marketing kompaniyasi uch xil reklama kampaniyasi savdolarga sezilarli ta'sir ko'rsatadimi yoki yo'qmi bilishni istaydi. Ular har bir kampaniya tomonidan yaratilgan savdolarni o'lchaydilar.

            import numpy as np
from scipy import stats

# Sales data for each campaign
campaign_A = np.array([100, 110, 120, 130, 140])
campaign_B = np.array([110, 120, 130, 140, 150])
campaign_C = np.array([120, 130, 140, 150, 160])

# Perform one-way ANOVA
f_statistic, p_value = stats.f_oneway(campaign_A, campaign_B, campaign_C)

print("F-statistic:", f_statistic)
print("P-value:", p_value)

# Check if p-value is less than alpha (e.g., 0.05)
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis")
else:
    print("Fail to reject the null hypothesis")

            

              
                Copy
              
            
          

4. Chi-kvadrat Testi

Chi-kvadrat testi kategorik ma'lumotlarni tahlil qilish uchun ishlatiladi. U ikki kategorik o'zgaruvchi o'rtasida sezilarli bog'liqlik bormi yoki yo'qmi tekshiradi.

Misol (Chi-kvadrat Testi):

Janubiy Afrikadagi so'rovnomada odamlardan siyosiy mansubliklari (Demokrat, Respublikachi, Mustaqil) va ma'lum bir siyosat bo'yicha fikrlari (Qo'llab-quvvatlash, Qarshi chiqish, Neytral) so'raladi. Biz siyosiy mansublik va siyosat bo'yicha fikr o'rtasida bog'liqlik bormi-yo'qligini bilishni istaymiz.

            import numpy as np
from scipy.stats import chi2_contingency

# Observed frequencies (contingency table)
observed = np.array([[50, 30, 20],
                     [20, 40, 40],
                     [30, 30, 40]])

# Perform chi-square test
chi2_statistic, p_value, dof, expected = chi2_contingency(observed)

print("Chi-square statistic:", chi2_statistic)
print("P-value:", p_value)
print("Degrees of freedom:", dof)
print("Expected frequencies:", expected)

# Check if p-value is less than alpha (e.g., 0.05)
alpha = 0.05
if p_value < alpha:
    print("Reject the null hypothesis")
else:
    print("Fail to reject the null hypothesis")

            

              
                Copy
              
            
          

Amaliy Mulohazalar

1. Gipoteza Testlarining Taxminlari

Ko'pgina gipoteza testlari natijalar haqiqiy bo'lishi uchun bajarilishi kerak bo'lgan o'ziga xos taxminlarga ega. Masalan, t-testlar va ANOVA ko'pincha ma'lumotlar normal taqsimlangan va teng dispersiyalarga ega deb taxmin qiladi. Test natijalarini talqin qilishdan oldin ushbu taxminlarni tekshirish muhimdir. Ushbu taxminlarning buzilishi noto'g'ri xulosalarga olib kelishi mumkin.

2. Namuna Hajmi va Quvvat Tahlili

Namuna hajmi gipoteza testining quvvatida hal qiluvchi rol o'ynaydi. Kattaroq namuna hajmi odatda testning quvvatini oshiradi, bu esa haqiqiy ta'sirni aniqlash ehtimolini oshiradi. Quvvat tahlili kerakli quvvat darajasiga erishish uchun talab qilinadigan minimal namuna hajmini aniqlash uchun ishlatilishi mumkin.

Misol (Quvvat Tahlili):

Faraz qilaylik, biz t-testini rejalashtirmoqdamiz va 5% ahamiyatlilik darajasida 80% quvvatga erishish uchun talab qilinadigan namuna hajmini aniqlamoqchimiz. Biz ta'sir hajmini (aniqlamoqchi bo'lgan o'rtacha qiymatlar o'rtasidagi farqni) va standart og'ishni baholashimiz kerak.

            from statsmodels.stats.power import TTestIndPower

# Parameters
effect_size = 0.5  # Cohen's d
alpha = 0.05
power = 0.8

# Perform power analysis
analysis = TTestIndPower()
sample_size = analysis.solve_power(effect_size=effect_size, power=power, alpha=alpha, ratio=1)

print("Required sample size per group:", sample_size)

            

              
                Copy
              
            
          

3. Bir Necha Testlash

Bir nechta gipoteza testlarini bajarganda, I turdagi xato (yolg'on musbat) qilish ehtimoli ortadi. Bu muammoni hal qilish uchun p-qiymatlarni sozlash usullarini, masalan, Bonferroni tuzatishini yoki Benjamini-Hochberg protsedurasini qo'llash muhimdir.

4. Natijalarni Kontekstda Talqin Qilish

Gipoteza testlari natijalarini tadqiqot savoli va tahlil qilinayotgan ma'lumotlar kontekstida talqin qilish juda muhimdir. Statistik jihatdan sezilarli natija har doim ham amaliy ahamiyatga ega ekanligini anglatmaydi. Ta'sirning kattaligini va uning real dunyo oqibatlarini hisobga oling.

Kengaytirilgan Mavzular

1. Bayes Gipotezalarini Tekshirish

Bayes gipotezalarini tekshirish an'anaviy (chastotali) gipotezalarni tekshirishga muqobil yondashuvni ta'minlaydi. U Bayes faktorini hisoblashni o'z ichiga oladi, bu esa bir gipotezaning boshqasidan ustunligi uchun dalilni miqdoriy jihatdan aniqlaydi.

2. No-parametrik Testlar

No-parametrik testlar parametrik testlarning taxminlari (masalan, normallik) bajarilmaganda ishlatiladi. Misollar: Mann-Whitney U testi, Wilcoxon belgili-rang testi va Kruskal-Wallis testi.

3. Qayta Tanlash Usullari (Bootstrapping va Permutatsiya Testlari)

Qayta tanlash usullari, masalan, bootstrapping va permutatsiya testlari, asosiy populyatsiya taqsimoti haqida kuchli taxminlar qilmasdan test statistikasining tanlanma taqsimotini baholash usulini ta'minlaydi.

Xulosa

Statistik gipotezalarni tekshirish fan, biznes va muhandislik kabi turli sohalarda ma'lumotlarga asoslangan qarorlar qabul qilish uchun kuchli vositadir. Asosiy tushunchalar, usullar va amaliy mulohazalarni tushunish orqali ma'lumotshunoslar ma'lumotlardan tushunchalar olish va mazmunli xulosalar chiqarish uchun gipotezalarni tekshirishdan samarali foydalanishlari mumkin. Python'ning scipy.stats moduli keng doiradagi gipoteza testlarini bajarish uchun to'liq funksiyalar to'plamini taqdim etadi. Har bir testning taxminlarini, namuna hajmini va bir nechta testlash ehtimolini diqqat bilan ko'rib chiqishni va natijalarni tadqiqot savoli kontekstida talqin qilishni unutmang. Ushbu qo'llanma ushbu kuchli usullarni real dunyo muammolariga qo'llashni boshlashingiz uchun mustahkam asos yaratadi. Tushunchangizni chuqurlashtirish va ma'lumotlar fanidagi ko'nikmalaringizni oshirish uchun turli testlar va usullar bilan tadqiq qilishda va tajriba o'tkazishda davom eting.

Qo'shimcha O'rganish:

• Statistika va ma'lumotlar faniga oid onlayn kurslar (masalan, Coursera, edX, DataCamp)
• Statistik darsliklar
• Python'ning scipy.stats moduli uchun hujjatlar
• Maxsus gipotezalarni tekshirish usullari bo'yicha ilmiy maqolalar va tadqiqotlar